AI023
Введение в программирование на Triton
Сокращения, функция софтмакс и числовая устойчивость
Цели обучения
- Выполнять и интерпретировать операции сокращения над многомерными тензорами.
- Формулировать функцию софтмакс для преобразования логитов в вероятностные распределения.
- Выявлять типичные проблемы численной устойчивости, такие как переполнение и недополнение с плавающей точкой.
- Реализовать численно устойчивую функцию софтмакс с помощью постоянного сдвига и метода Лог-Сум-Эксп.